Nikolay Aleksandrovich Sergeyev. "Cây táo ra hoa tại Tiểu Nga." 1895. Tranh sơn dầu trên vải bạt.Tập tin:Europaisches russland fragment.jpgBản đồ của Đức này mang tên "Lãnh thổ Nga ở châu Âu" (Europäisches Russland) xuất bản trong giai đoạn 1895-1990 bởi Meyers Konversationslexikon sử dụng các từ Klein-Russland và Gross-Russland với nghĩa lần lượt là Tiểu Nga và Đại Nga.Tập tin:In Little Russia.jpg"Quang cảnh ở Tiểu Nga". Ảnh chụp của Sergey Prokudin-Gorsky, khoảng từ năm 1905 đến 1915.

Theo các tài liệu lịch sử, từ Tiểu Nga được dùng lần đầu tiên trong bức thư của Boleslaus George II của Halych viết năm 1335 gửi cho Dietrich von Altenburg, Đại Trưởng lão của các Hiệp sĩ Teuton.[4] Trong bức thư, Boleslaus có ghi dòng chữ «dux totius Rusiæ Minoris».[4] Và cái tên này cũng được Giáo trưởng Kallistos I của Constantinopolis dùng năm 1361 khi ông đặt ra hai khu tòa Giám mục mới (metropolitan sees): Đại Nga ở Vladimir và Kiev; Tiểu Nga với trung tâm ở Galich (Halych) và Novgorodok (Navahrudak).[4] Vua Kazimierz III của Ba Lan cũng được xưng tụng là "vua của Lechia và Tiểu Nga".[4] Theo Mykhaylo Hrushevsky thì Tiểu Nga chính là Công quốc Halych-Volhynia; sau khi quốc gia này sụp đổ thì từ Tiểu Nga cũng không được dùng nữa.[5]

Trong thời cận đại trở về sau, cái tên Tiểu Nga hay Tiểu Rus lần đầu tiên được sử dụng bởi giới giáo sĩ Chính Thống giáo ở Cộng hòa Ba Lan-Litva, ví dụ như trong trường hợp của giáo sĩ - nhà văn Ioan Vyshensky (1600, 1608), Tổng Giám mục Matthew của Kiev và Toàn Nga (1606), Giám mục Ioann (Biretskoy) của Peremyshl, Tổng Giám mục Isaiah (Kopinsky) của Kiev, Trưởng tu viện Zacharius Kopystensky của Kiev Pechersk Lavra,...[6] Thuật ngữ này được dùng cho toàn bộ giới giáo sĩ Chính Thống giáo sống tại Ba Lan và Litva lúc đó.[6] Vyshensky viết rằng "người Thiên chúa giáo ở Tiểu Nga, anh em của Lvov và Vilna" còn Kopystensky viết "Tiểu Nga, hay Kiev và Litva".[6]

Về sau thuật ngữ này được Nước Nga Sa hoàng và Tù trưởng quốc Kozak của Ukraina tả ngạn sử dụng sau khi quốc gia Côdắc trở thành đất bảo hộ của Nga theo Hiệp ước Pereyaslav (1654). Và cũng từ đó danh hiệu chính thức của các Nga hoàng là: "Đấng cầm quyền chuyên chính của tất cả nước Nga: Đại Nga, Tiểu Nga, và Bạch Nga."

Thuật ngữ Tiểu Nga đã được sử dụng trong các bức thư của Tù trưởng của người Côdắc Ukraina, Bohdan Zynoviy Mykhailovych Khmelnytsky[7] và Ivan Dmytrovych Sirko.[8][9] Trưởng tu viện của Kiev-Pechersk Lavra Innokentiy Gizel viết rằng dân tộc Nga là một dân tộc thuần nhất với ba nhánh: Đại Nga, Tiểu Nga và Bạch Nga và người lãnh đạo hợp pháp duy nhất của ba nhánh đó là Nga hoàng. Thuật ngữ Tiểu Nga cũng được dùng trong các quyển sử biên niên của Samiylo Velychko, sử biên niên của Hieromonk Leontiy (Bobolinski), trong tác phẩm "Thesaurus" của Trưởng tu viện Ioannikiy (Golyatovsky).[10]

Thuật ngữ Tiểu Nga về sau cũng được sử dụng ở khu vực Ukraina hữu ngạn sau khi nó bị sáp nhập vào Nga trong Ba lần chia cắt Ba Lan dưới triều Nga hoàng Ekaterina II. Trong các thế kỷ thứ 18 và 19 thì các đơn vị hành chính của Đế quốc Nga có thêm tỉnh Tiểu Nga với người đứng đầu là một viên Toàn quyền. Tỉnh này tồn tại vài thập kỷ trước khi bị phân chia làm nhiều tỉnh khác trong một đợt cải cách hành chính.

Cho đến cuối thế kỷ 19 Tiểu Nga vẫn là tên gọi chính của vùng đất mà ngày nay tương ứng với Ukraina, cái tên này xuất hiện rất nhiều trong các tác phẩm học thuật, văn học và nghệ thuật. Ví dụ, nhà thơ Taras Hryhorovych Shevchenko vẫn ưa dùng từ "Tiểu Nga" trong nhật ký riêng của mình (1857—1858).[11] Các nhà sử học Ukraina Mykhailo Oleksandrovych Maksymovych, Nikolay Ivanovich Kostomarov, Dmytro Bahaliy, Volodymyr Bonifatiyovych Antonovych thừa nhận rằng trong cuộc chiến giữa Nga với Ba Lan thì từ "Ukraine" chỉ mang ý nghĩa địa lý về các vùng đất biên giới của hai nước nhưng từ "Tiểu Nga" có ý nghĩa ám chỉ các tộc người Nga sống ớ phía Nam.[11] Trong tác phẩm nổi tiếng "hai dân tộc Nga" Kostomarov dùng từ Nam Nga và Tiểu Nga nhằm ám chỉ chung một thứ.[12] Mykhailo Petrovych Drahomanov đặt tên một tác phẩm lịch sử nổi tiếng của ông là "Tiểu Nga và văn hóa của nó" (1867–1870).[13] Một số nghệ sĩ nổi tiếng như Mykola Kornylovych Pymonenko, Konstiantyn Oleksandrovych Trutovsky, Nikolay Aleksandrovich Sergeyev, nhà nhiếp ảnh Sergey Mikhaylovich Prokudin-Gorsky - nhiều người trong số đó là người Ukraina - sử dụng từ "Tiểu Nga" làm tên các tác phẩm có chủ đề về Ukraina.

Thuật ngữ "Ngôn ngữ vùng Tiểu Nga" được Triều đình Nga dùng trong đợt điều tra dân số đầu tiên tiến hành năm 1897.